#spatial reasoning

4 篇

GUI-Primitives: Diagnosing Spatial Reasoning Failures in Vision-Language GUI Grounding

GUI-Primitives：诊断视觉语言模型 GUI 空间推理失败的基准

🧭 GUI Agent 空间推理评估基准

University of Southern California · USC Information Sciences Institute · Qatar Computing Research Institute (QCRI)

构建对比指令对基准，解耦候选定位与关系理解，揭示 VLM 在 GUI 元素定位的主要瓶颈是候选定位而非空间关系推理

📌 工作参考价值（4 点）

在电商导购/客服 Agent 落地 GUI 自动化时，可借鉴对比指令对方法：固定截图和锚点，只改变关系表达式，构造最小差异样本，低成本排查模型是“找错元素”还是“看不懂关系”。
该基准显示模型输出坐标大量落在候选框外（60–92%），工程实现中应避免让 VLM 直接回归任意坐标，可先接一个候选区域检测器（如 OCR/图标检测），再用 VLM 做区域内选择或关系判断，或对输出坐标做约束/后处理。
论文的 oracle 诊断：把两个候选框标记在图上，选择准确率提升 35–57 个百分点，说明“给定候选集后模型关系理解尚可”。业务上可用于两阶段 pipeline：召回候选元素（如商品卡片、按钮）后，再让 VLM 根据指令选择目标，降低定位错误。
评估 Agent 时，建议同时报告 strict point-in-box 与 conditional accuracy，区分候选定位失败与关系理解失败；这比单一 Overall Acc 更能指导模型迭代方向。

Eval | 2026-08-21 | HF Daily | score 6/10

GST-Bench: Can VLMs Develop Global Spatial Awareness from Video?

GST-Bench：评估 VLM 从视频中形成全局空间感知的基准

🧭 视觉语言模型空间推理评估

ByteDance Seed · Zhejiang University · National University of Singapore

提出全局时空视频理解基准，发现最强 VLMs 零样本得分仅 42.68（人类 79.08），长视频场景整合能力严重不足

📌 工作参考价值（4 点）

主要是学术贡献，对电商/推荐系统的直接工程借鉴有限。
若未来涉及 AR/VR 导购或机器人店内导航，长序列视觉空间整合的评估思路可参考。
合成视频数据生成策略可用于构建训练数据，辅助需要空间感知的视觉下游任务。
揭示了当前 VLM 在长时程多视角视觉融合上的短板，提示设计用户行为理解模型时不可忽视长期依赖性建模。

Reasoning | 2026-08-05 | HF Daily | score 6/10

global spatial awareness video understanding VLM benchmark spatial reasoning embodied agents

SpatialCLI: Learning to Reason With Spatial Tools, Then Without Them

SpatialCLI：先借助空间工具推理，再摆脱工具

🧭 Agent 工具学习与能力内化

Zhejiang University · Zhuoyu Technology · Beihang University · University of Electronic Science and Technology of China · Nanyang Technological University

提出三阶段框架让 VLM 学会调用空间工具，再将工具能力内化到自身，推理时无需工具仍高性能

📌 工作参考价值（4 点）

三阶段训练策略：先用工具增强数据做冷启动 SFT，再用 Agentic RL 提升工具调用准确率，最后将成功轨迹转化为 SFT 数据内化能力，可直接迁移到推荐/搜索 Agent 的工具调用训练中，比如让 LLM Agent 学会调用推荐 API 再内化推荐知识。
延迟敏感的线上场景：通过内化将工具能力蒸馏到小模型，实现推理时无工具调用，降低延迟，适用于电商搜索/推荐的高并发服务。
冷启动 SFT + RL 的组合：先通过格式化示例让模型学会工具调用格式，再用环境反馈优化决策，可提升 Agent 在复杂决策任务（如多步推荐、交互式搜索）中的鲁棒性。
评估基准设计：SpatialCLI-Bench 聚焦组合感知，类似思路可构建面向推荐领域的组合能力基准，评估 Agent 在 item 检索、过滤、排序等多步骤中的表现。

Agent | 2026-07-29 | HF Daily | score 6/10

spatial reasoning tool use knowledge internalization agentic RL vision-language model benchmark

Show, Don't Tell: Evaluating Spatial Cognition in Generative Pixels Rather Than LLM Text

展示而非描述：评估生成像素中的空间认知而非LLM文本

🧭 空间推理评测框架 · 生成式像素评估

Zhejiang University

提出ProVisE框架，将图像生成模型的视觉答案解析为结构化预测，实现像素级空间推理的公平评测

📌 工作参考价值（4 点）

对电商中需要空间理解的生成任务（如虚拟试穿、商品摆放、AR场景）有评测启发：可借鉴“协议化视觉答案”思想，将模型生成的图像通过规则解析成结构化指标（如物品位置、遮挡关系），从而量化评估生成质量。
Agentic protocol builder 能自动为新任务生成评测协议，可迁移到广告创意生成、商品主图优化等场景，降低人工设计评测规则的成本。
揭示了文本推理与像素表达的互补性，在推荐系统多模态交互（如对话式推荐+视觉展示）中，可结合文本VLMs做高层推理、图像生成模型做像素级细粒度表达。
整体方法论对构建统一的多模态推荐评测基准有参考价值，但直接业务应用场景有限，更适合学术评测框架设计。

Eval | 2026-07-22 | HF Daily | score 6/10

spatial reasoning image generation visual evaluation benchmark agentic protocol multimodal